Process tracking for dynamic tuning applications on the grid

Los recursos computacionales requeridos por la comunidad científica para solucionar problemas son mayores que los ofrecidos por la infraestructura actual. La necesidad de mayores prestaciones se debe al constante progreso de la investigación, nuevos problemas o aumento del detalle en los problemas corrientes. Usuarios crean nuevos sistemas distribuidos en larga escala como sistemas Grid para lograr prestaciones deseadas. Sistemas Grid son generalmente construidos sobre los recursos computacionales disponibles como clusters, maquinas paralelas o dispositivos de almacenamiento distribuidos en diferentes organizaciones e interconectado por una red. Sintonizar aplicaciones en un sistema Grid no es fácil debido a las características de distribución de procesos en múltiples clusters controlados por diferentes sistemas de colas y heterogeneidad de la red de comunicaciones. Nosotros tenemos un entorno de monitorización, análisis y sintonización (MATE) que permite la sintonización dinámica de aplicaciones en entornos cluster. Debido a las muchas capas de software presente en sistemas Grid, dos ejecuciones de una misma aplicación pueden usar recursos distintos. Para sintonizar los procesos de la aplicación, nuestra herramienta debe localizar y seguir la ejecución de los procesos en el sistema. Nosotros llamamos eso como problema de localización de procesos. Este artículo presenta la integración de MATE con Gris y dos aproximaciones implementadas para solucionar el problema de localización de procesos dentro de sistemas Grid.The computational resources need by the scientific community to solve problems is beyond the current available infrastructure. Performance requirements are needed due constant research progress, new problems studies or detail increase of the current ones. Users create new wide distributed systems such as computational Grids to achieve desired performance goals. Grid systems are generally built on top of available computational resources as cluster, parallel machines or storage devices distributed within different organizations and those resources are interconnected by a network. Tune applications on Grid environment is a hard task due system characteristics like multi-cluster job distribution among different local schedulers and dynamic network bandwidth behavior. We had a Monitoring, Analysis and Tuning Environment (MATE) that allows dynamic performance tuning applications within a cluster. Due to the many software layers present on the grid, similar job submission may execute on different places. To tune application jobs, our tool needs to locate and follow the jobs execution within the system. We call this a process tracking problem. This paper presents MATE integration to the Grid and the two process tracking approaches implemented in order to solve the process tracking problem within Grid systemsVII Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Process tracking for dynamic tuning applications on the grid

Los recursos computacionales requeridos por la comunidad científica para solucionar problemas son mayores que los ofrecidos por la infraestructura actual. La necesidad de mayores prestaciones se debe al constante progreso de la investigación, nuevos problemas o aumento del detalle en los problemas corrientes. Usuarios crean nuevos sistemas distribuidos en larga escala como sistemas Grid para lograr prestaciones deseadas. Sistemas Grid son generalmente construidos sobre los recursos computacionales disponibles como clusters, maquinas paralelas o dispositivos de almacenamiento distribuidos en diferentes organizaciones e interconectado por una red. Sintonizar aplicaciones en un sistema Grid no es fácil debido a las características de distribución de procesos en múltiples clusters controlados por diferentes sistemas de colas y heterogeneidad de la red de comunicaciones. Nosotros tenemos un entorno de monitorización, análisis y sintonización (MATE) que permite la sintonización dinámica de aplicaciones en entornos cluster. Debido a las muchas capas de software presente en sistemas Grid, dos ejecuciones de una misma aplicación pueden usar recursos distintos. Para sintonizar los procesos de la aplicación, nuestra herramienta debe localizar y seguir la ejecución de los procesos en el sistema. Nosotros llamamos eso como problema de localización de procesos. Este artículo presenta la integración de MATE con Gris y dos aproximaciones implementadas para solucionar el problema de localización de procesos dentro de sistemas Grid.The computational resources need by the scientific community to solve problems is beyond the current available infrastructure. Performance requirements are needed due constant research progress, new problems studies or detail increase of the current ones. Users create new wide distributed systems such as computational Grids to achieve desired performance goals. Grid systems are generally built on top of available computational resources as cluster, parallel machines or storage devices distributed within different organizations and those resources are interconnected by a network. Tune applications on Grid environment is a hard task due system characteristics like multi-cluster job distribution among different local schedulers and dynamic network bandwidth behavior. We had a Monitoring, Analysis and Tuning Environment (MATE) that allows dynamic performance tuning applications within a cluster. Due to the many software layers present on the grid, similar job submission may execute on different places. To tune application jobs, our tool needs to locate and follow the jobs execution within the system. We call this a process tracking problem. This paper presents MATE integration to the Grid and the two process tracking approaches implemented in order to solve the process tracking problem within Grid systemsVII Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Dynamic tuning of parallel programs

Performance of parallel programs is one of the reasons of their development. The process of designing and programming a parallel application is a very hard task that requires the necessary knowledge for the detection of performance bottlenecks, and the corresponding changes in the source code of the application to eliminate those bottlenecks. Current approaches to this analysis require a certain level of expertise from the developers part in locating and understanding the performance details of the application execution. For these reasons, we present an automatic performance analysis tool with the objective of alleviating the developers of this hard task: Kappa Pi. The most important limitation of KappaPi approach is the important amount of gathered information needed for the analysis. For this reason, we present a dynamic tuning system that takes measures of the execution on-line. This new design is focused to improve the performance of parallel programs during runtime.I Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Análisis automático del rendimiento de ejecución de programas paralelos

La programación paralela más tradicional obliga al programador, después de haber diseñado la aplicación, a analizar el rendimiento de la aplicación que se acaba de diseñar. El programador debe analizar una enorme cantidad de información obtenida de la ejecución de un programa. En este artículo, se propone una herramienta de análisis automático que permite a los programadores evitar esa tarea difícil. La herramienta se centra en la búsqueda de intervalos de ineficiencia a lo largo del tiempo de ejecución de la aplicación. Los problemas de rendimiento son analizados en detalle, en busca de posibles causas de la ineficiencia y sus soluciones.Sistemas Distribuidos - Redes ConcurrenciaRed de Universidades con Carreras en Informática (RedUNCI

Análisis automático del rendimiento de ejecución de programas paralelos

La programación paralela más tradicional obliga al programador, después de haber diseñado la aplicación, a analizar el rendimiento de la aplicación que se acaba de diseñar. El programador debe analizar una enorme cantidad de información obtenida de la ejecución de un programa. En este artículo, se propone una herramienta de análisis automático que permite a los programadores evitar esa tarea difícil. La herramienta se centra en la búsqueda de intervalos de ineficiencia a lo largo del tiempo de ejecución de la aplicación. Los problemas de rendimiento son analizados en detalle, en busca de posibles causas de la ineficiencia y sus soluciones.Sistemas Distribuidos - Redes ConcurrenciaRed de Universidades con Carreras en Informática (RedUNCI

Forest fire propagation prediction based on overlapping DDDAS forecasts

International Conference on Computational Science, ICCS 2015 – Computational Science at the Gates of NatureForest fire devastate every year thousand of hectares of forest around the world. Fire behavior prediction is a useful tool to aid coordination and management of human and mitigation resources when fighting against these kind of hazards. Any fire spread forecast system requires to be fitted with different kind of data with a high degree of uncertainty, such as for example, me- teorological data and vegetation map among others. The dynamics of this kind of phenomena requires to develop a forecast system with the ability to adapt to changing conditions. In this work two different fire spread forecast systems based on the Dynamic Data Driven Application paradigm are applied and an alternative approach based on the combination of both predictions is presented. This new method uses the computational power provided by high performance computing systems to deliver the predictions under strict real time constraints.This research has been supported by the Ministerio de Economía y Competitividad (MECSpain) under contract TIN2011-28689-C02-01 and the Catalan government under grant 2014- SGR-576

Método de Reducción de Incertidumbre basado en HPC

La problemática existente a raíz de la falta de exactitud que se encuentra en los parámetros de entrada en cualquier modelo científi co o físico, puede producir graves consecuencias en la salida del mismo si éste se trata de algún sistema crítico. Además, al citado problema deben sumarse las limitaciones impuestas por los propios modelos, las restricciones que agregan las soluciones numéricas y, por qué no, las provenientes de las propias implementaciones y versiones informáticas. Por tal motivo, resulta de gran interés el desarrollo de métodos informáticos que se enfoquen en el tratamiento de la incertidumbre de dichos valores de entrada para lograr así una predicción lo más confi able posible por parte del modelo en cuestión. En el presente trabajo se presenta un método basado en High Performance Computing en combinación con Cálculo Estadístico, el cual se ha evaluado y veri cado en casos reales aplicándolo a un modelo de comportamiento de incendios forestales.Presentado en el IX Workshop Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Dynamic tuning of parallel programs

Performance of parallel programs is one of the reasons of their development. The process of designing and programming a parallel application is a very hard task that requires the necessary knowledge for the detection of performance bottlenecks, and the corresponding changes in the source code of the application to eliminate those bottlenecks. Current approaches to this analysis require a certain level of expertise from the developers part in locating and understanding the performance details of the application execution. For these reasons, we present an automatic performance analysis tool with the objective of alleviating the developers of this hard task: Kappa Pi. The most important limitation of KappaPi approach is the important amount of gathered information needed for the analysis. For this reason, we present a dynamic tuning system that takes measures of the execution on-line. This new design is focused to improve the performance of parallel programs during runtime.I Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Process tracking for dynamic tuning applications on the grid

Los recursos computacionales requeridos por la comunidad científica para solucionar problemas son mayores que los ofrecidos por la infraestructura actual. La necesidad de mayores prestaciones se debe al constante progreso de la investigación, nuevos problemas o aumento del detalle en los problemas corrientes. Usuarios crean nuevos sistemas distribuidos en larga escala como sistemas Grid para lograr prestaciones deseadas. Sistemas Grid son generalmente construidos sobre los recursos computacionales disponibles como clusters, maquinas paralelas o dispositivos de almacenamiento distribuidos en diferentes organizaciones e interconectado por una red. Sintonizar aplicaciones en un sistema Grid no es fácil debido a las características de distribución de procesos en múltiples clusters controlados por diferentes sistemas de colas y heterogeneidad de la red de comunicaciones. Nosotros tenemos un entorno de monitorización, análisis y sintonización (MATE) que permite la sintonización dinámica de aplicaciones en entornos cluster. Debido a las muchas capas de software presente en sistemas Grid, dos ejecuciones de una misma aplicación pueden usar recursos distintos. Para sintonizar los procesos de la aplicación, nuestra herramienta debe localizar y seguir la ejecución de los procesos en el sistema. Nosotros llamamos eso como problema de localización de procesos. Este artículo presenta la integración de MATE con Gris y dos aproximaciones implementadas para solucionar el problema de localización de procesos dentro de sistemas Grid.The computational resources need by the scientific community to solve problems is beyond the current available infrastructure. Performance requirements are needed due constant research progress, new problems studies or detail increase of the current ones. Users create new wide distributed systems such as computational Grids to achieve desired performance goals. Grid systems are generally built on top of available computational resources as cluster, parallel machines or storage devices distributed within different organizations and those resources are interconnected by a network. Tune applications on Grid environment is a hard task due system characteristics like multi-cluster job distribution among different local schedulers and dynamic network bandwidth behavior. We had a Monitoring, Analysis and Tuning Environment (MATE) that allows dynamic performance tuning applications within a cluster. Due to the many software layers present on the grid, similar job submission may execute on different places. To tune application jobs, our tool needs to locate and follow the jobs execution within the system. We call this a process tracking problem. This paper presents MATE integration to the Grid and the two process tracking approaches implemented in order to solve the process tracking problem within Grid systemsVII Workshop de Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Process tracking for dynamic tuning applications on the grid

The computational resources need by the scientific community to solve problems is beyond the current available infrastructure. Performance requirements are needed due constant research progress, new problems studies or detail increase of the current ones. Users create new wide distributed systems such as computational Grids to achieve desired performance goals. Grid systems are generally built on top of available computational resources as cluster, parallel machines or storage devices distributed within different organizations and those resources are interconnected by a network. Application tuning on Grid environment is a hard task due system characteristics like multi-cluster job distribution among different local schedulers and dynamic network bandwidth behavior. We had a Monitoring, Analysis and Tuning Environment (MATE) that allows dynamic performance tuning applications within a cluster. Due to the many software layers present on the grid, similar job submission may execute on different places. To tune application jobs, our tool needs to locate and follow the jobs execution within the system. We call this a process tracking problem. This paper presents MATE integration to the Grid and the two process tracking approaches implemented in order to solve the process tracking problem within Grid systems.Facultad de Informátic